Sber AI: офлайн‑LLM и P2P‑мессенджеры на случай отсутствия интернета
Источник: https://t.me/SberAIScience/4227
Краткое содержание
Образовательно‑продуктовая заметка канала Sber AI Science о том, чем заменить смартфонные сценарии при потере интернет‑связи. Пост перечисляет два класса инструментов: локальные LLM‑модели, работающие на устройстве без сети, и мессенджеры, которые умеют формировать локальную сеть напрямую между телефонами через Bluetooth или Wi‑Fi Direct.
Перечень упомянутых инструментов
В разделе офлайн‑LLM канал называет два приложения: LLM Farm (iOS) — оболочка, в которой можно загружать разные локальные модели и настраивать их под задачу, и PocketPal AI (iOS / Android) — более простой клиент для базовой работы с ИИ без сети. Принцип у обоих один: модель целиком хранится на устройстве, инференс выполняется на CPU/GPU телефона, и для запросов интернет не требуется.
В разделе мессенджеров перечислены три варианта P2P‑связи: Briar — мессенджер с децентрализованной архитектурой и сквозным шифрованием, работает без серверов, поддерживает личные и групповые чаты; bitchat — обмен сообщениями напрямую через Bluetooth; Bridgefy — приложение на Signal Protocol, формирующее локальную сеть между пользователями. Дополнительно даётся «полевой» совет: если связь критически нужна, можно вручную переключить телефон на 2G — иногда сигнал ловится там, где LTE/5G недоступны.
# Идея локального LLM-вызова через Python-обвязку (например, llama-cpp-python):
# модель целиком лежит на устройстве, сетевые запросы не нужны.
from llama_cpp import Llama
llm = Llama(model_path="./models/qwen2-0_5b-instruct.Q4_K_M.gguf")
print(llm("Объясни, что такое P2P-мессенджер, в трёх предложениях.",
max_tokens=128)["choices"][0]["text"])
(Пример иллюстрирует общий принцип офлайн‑инференса; LLM Farm и PocketPal AI решают ту же задачу нативно.)
Значимость
Запись — корпоративный «лайфхак»‑пост Sber AI: продвижение собственной образовательной площадки в МАХ и заодно перечень инструментов для сценариев, когда интернет ограничен или недоступен. Формально в посте нет политических заявлений, но сама постановка темы («что делать, если связи нет») в текущем российском контексте — отдельный маркер: после серии массовых сбоев интернета и блокировок такие подборки становятся прикладной нормой, а не экзотикой. Технически перечисленные приложения известны и существуют не первый год; новизны в самом списке нет, ценность поста — в компактной форме и привязке к конкретным магазинам приложений.
🧾 Транскрипт (формат)
СВЯЗИ НЕТ, НО СВЯЗИ ЕСТЬ 🤩
Источник: https://t.me/SberAIScience/4227
СВЯЗИ НЕТ, НО СВЯЗИ ЕСТЬ 🤩
Если с интернетом проблемы, всегда можно воспользоваться локальными LLM и мессенджерами. Рассказываем кратко 🤩
Офлайн-модели ИИ 🤖 Существуют LLM-модели, которые работают без подключения к интернету прямо на смартфоне.
▫️ LLM Farm (iOS) — позволяет загружать разные локальные модели и настраивать их под свои задачи ▫️ PocketPal AI (iOS / Android) — более простой вариант для базовой работы с ИИ без подключения к интернету
Мессенджеры 📮 Некоторые приложения создают локальную сеть через Bluetooth или Wi-Fi Direct, чтобы обмениваться сообщениями напрямую между устройствами.
▫️ Briar — мессенджер с P2P-архитектурой и сквозным шифрованием, работает без серверов и поддерживает личные и групповые чаты ▫️ bitchat — сервис для обмена сообщениями напрямую через Bluetooth, без интернета ▫️ Bridgefy — приложение на базе Signal Protocol, создающее локальную сеть связи между пользователями
🤩 А если вы оказались в ситуации, когда подключение к сети критически важно, можно попробовать переключить смартфон на 2G. Иногда он ловит хотя бы слабый сигнал там, где LTE и 5G не работают.
❤️ — будем на связи
✔️ Подписывайтесь на Sber AI в МАКС